12. Test de Hipótesis¶
En este caso se trata de utilizar una muestra aleatoria de la población para probar una hipótesis particular sobre los parámetros (en lugar de estimar explícitamente parámetros desconocidos de una distribución poblacional).
12.1. ¿Qué es una hipótesis estadística?¶
Es una afirmación acerca de un parámetro poblacional.
La hipótesis nula \(H_0\) y la alternativa \(H_1\) son mutuamente exclusivas, pueden o no ser complementarias, de uno o dos lados.
12.2. Ejemplo:¶
Un test de hipótesis es una regla que especifica: para que valores muestrales no se rechaza la hipótesis nula \(H_0\), y para que valores muestrales se rechaza la hipótesis nula \(H_0\) en favor de \(H_1\). El subconjunto \(C\) del espacio muestral en donde se rechaza la hipótesis nula se denomina “región de rechazo” o “región crítica”, y su complemento la “región de aceptación”.
Se trata de desarrollar un procedimiento para determinar si una muestra de datos es consistente con la hipotésis nula o no. Para ello se utiliza un estadístico (una función de la muestra) y se observa un valor de este estadístico.
12.3. Tipos de Errores y nivel de significancia¶
\(\alpha\) se denomina nivel de significancia del test
\((1-\beta)\) se denomina potencia del test
Ambos errores deben ser considerados. Comenzaremos por manejar el error de tipo I.
12.4. Caso 1: Test Media de Dist. Normal con varianza conocida: enfoque del valor crítico.¶
Sean \(X_1,\cdots,X_n\) v.a.i.i.d. \({\cal N}(\mu,\sigma^2)\) con media desconocida \(\mu\) y varianza conocida \(\sigma^2\), y consideremos el test:
con \(\mu_0\) un valor específico dado.
utilizaremos la media muestral \(\bar{x}\) como una estimación puntual natural de \(\mu\)
rechazaremos \(H_0\) si \(\bar{x}\) está suficientemente lejos de \(\mu_0\) y no la rechazamos en caso contrario.
¿qué es suficientemente lejos? Se define la región de rechazo $\(C = \{X_1,\cdots X_n : |\bar{X} - \mu_0 | \geq c\}\)$
queremos controlar el error de tipo I, \(\alpha\): $\(P_{H_0}( |\bar{X} - \mu_0 | \geq c) = \alpha\)$
Como bajo \(H_0\) se cumple: $\( Z = \frac{ \bar{X}-\mu_0}{\frac{\sigma}{\sqrt{n}}} \sim {\cal N}(0,1)\)$
Sea \(z_{\frac{\alpha}{2}}\) tal que $\(P(|Z| \geq z_{\frac{\alpha}{2}}) = \alpha\)$
entonces
de manera que se rechaza \(H_0\) si $\(\left|\frac{ \bar{X}-\mu_0}{\frac{\sigma}{\sqrt{n}}}\right| \geq z_{\frac{\alpha}{2}}\)$
Y NO se rechaza \(H_0\) si $\(\left|\frac{ \bar{X}-\mu_0}{\frac{\sigma}{\sqrt{n}}}\right| \leq z_{\frac{\alpha}{2}}\)$
12.5. Caso 2: Test de Media de Dist. Normal con varianza conocida: enfoque del p-value¶
Sean \(X_1,\cdots,X_n\) v.a.i.i.d. \({\cal N}(\mu,\sigma^2)\) con media desconocida \(\mu\) y varianza conocida \(\sigma^2\), y consideremos el test:
con \(\mu_0\) un valor específico dado.
El p-value es la probabilidad de observar un valor del estadístico del test igual o mas extremo que el observado, asumiendo que \(H_0\) es verdadero. Es la menor significancia con la cual podemos rechazar \(H_0\).
utilizaremos la media muestral \(\bar{x}\) como una estimación puntual natural de \(\mu\)
especificamos un valor para la significancia \(\alpha\)
calculamos el estadístico $\( z = \frac{ \bar{x}-\mu_0}{\frac{\sigma}{\sqrt{n}}}\)$
y el p-value $\(p = 2 P(Z \geq |z|)\)$
Si \(p \leq \alpha\) se rechaza \(H_0\)
Si \(p \gt \alpha\) NO se rechaza \(H_0\)
El p-value es una medidad de evidencia para rechazar \(H_0\): cuanto menor el p-value, mayor es la evidencia para rechazar \(H_0\).
Error conceptual común: el p-value no es la probabilidad de que la hipótesis nula sea verdadera, no es \(P(H_0\)) ni \(P(H_0 \mid data)\).
12.5.1. Relación entre p-value y regiones críticas para el caso ya estudiado¶
z = (8.5-8)/sqrt(2/5)
p_value = 2*(1-pnorm(z))
print(c(z, p_value))
[1] 0.7905694 0.4291953
13. Y el error de tipo II?¶
Como medimos el error de no rechazar \(H_0\) cuando \(H_1\) es verdadero?
La difultad que encontramos es que la especificación de \(H_1\) es bastante amplia: $\(H_1 : \mu \neq \mu_0\)$
Asumiremos que la media poblacional es \(\mu \neq \mu_0\).
Para el caso que hemos estado estudiando: población normal con varianza conocida, podemos hacer la siguiente derivación:
\(\begin{array}{lll}
\beta(\mu) & = & P_{\mu}\{no\, rechazar\, H_0\}\\
&&\\
& = & P_{\mu}\left\{\left|\frac{
\bar{X}-\mu_0}{\frac{\sigma}{\sqrt{n}}}\right| \leq z_{\frac{\alpha}{2}}\right \}\\
&&\\
& = & P_{\mu}\left\{ -z_{\frac{\alpha}{2}} \leq \frac{
\bar{X}-\mu_0}{\frac{\sigma}{\sqrt{n}}}\leq z_{\frac{\alpha}{2}}\right \}\\
&&\\
& = & P_{\mu}\left\{ -z_{\frac{\alpha}{2}}-\frac{\mu}{\frac{\sigma}{\sqrt{n}}} \leq \frac{
\bar{X}-\mu_0 - \mu}{\frac{\sigma}{\sqrt{n}}}\leq z_{\frac{\alpha}{2}} -\frac{\mu}{\frac{\sigma}{\sqrt{n}}}\right \}\\
&&\\
& = & P_{\mu}\left\{ -z_{\frac{\alpha}{2}}-\frac{\mu}{\frac{\sigma}{\sqrt{n}}} \leq
Z - \frac{\mu_0}{\frac{\sigma}{\sqrt{n}}} \leq z_{\frac{\alpha}{2}} -\frac{\mu}{\frac{\sigma}{\sqrt{n}}}\right \}\\
&&\\
& = & P_{\mu}\left\{ \frac{\mu_0 -\mu}{\frac{\sigma}{\sqrt{n}}}-z_{\frac{\alpha}{2}} \leq
Z \leq \frac{\mu_0 - \mu}{\frac{\sigma}{\sqrt{n}}}+ z_{\frac{\alpha}{2}} \right \}\\
&&\\
& = & \Phi\left (\frac{\mu_0 -\mu}{\frac{\sigma}{\sqrt{n}}}+z_{\frac{\alpha}{2}}\right) -
\Phi\left (\frac{\mu_0 -\mu}{\frac{\sigma}{\sqrt{n}}}-z_{\frac{\alpha}{2}}\right)
\end{array}\)
library(plotly)
mu0=0
sigma0=6
n=10
alpha= 0.05
perc_i= qnorm(alpha/2,mean=mu0,sd=sigma0/sqrt(n))
perc_d = qnorm(1-alpha/2, mean=mu0,sd=sigma0/sqrt(n))
vec <- seq(-10+mu0,20+mu0,by=0.05)
a <- perc_i
b <- perc_d
vec2 <- seq(perc_i+0.05,perc_d-0.05,by=0.05)
vec_i <- seq(-10+mu0+0.05,perc_i-0.05,by=0.05)
a_i = -10+mu0
b_i = perc_i
vec_d <- seq(perc_d+0.05,mu0+10-0.05,by=0.05)
a_d = perc_d
b_d = mu0+10
pvec0 <- dnorm(vec,mean=mu0,sd=sigma0/sqrt(n))
params <- c(1,1,2,2,3,3,4,4,5,5,6,6,7,7,8,8,9,9,10,10)
aval <- list()
for (i in 1:length(params)){
aval[[i]] <-list(visible = FALSE,
y=dnorm(vec,mean=params[i],sd=sigma0/sqrt(n)))
}
Loading required package: ggplot2
Registered S3 methods overwritten by 'ggplot2':
method from
[.quosures rlang
c.quosures rlang
print.quosures rlang
Attaching package: ‘plotly’
The following object is masked from ‘package:ggplot2’:
last_plot
The following object is masked from ‘package:stats’:
filter
The following object is masked from ‘package:graphics’:
layout
steps <- list()
fig <- plot_ly(width=600,height=400) %>% layout(title = "\n \n Error de tipo II en función de valor de la media",
yaxis = list(range=c(0,0.3))) %>%
add_lines(x=vec,y=pvec0,line=list(color='red'),showlegend = FALSE) %>%
add_polygons(x = c(a_i,vec_i,b_i), y =c(0,dnorm(vec_i,mean=mu0,sd=sigma0/sqrt(n)),0),fill='tozeroy',
fillcolor = 'rgba(255, 212, 96, 0.5)',line=list(color='rgba(255, 212, 96, 0.5)'),showlegend = FALSE)%>%
add_polygons(x = c(a_d,vec_d,b_d), y =c(0,dnorm(vec_d,mean=mu0,sd=sigma0/sqrt(n)),0),fill='tozeroy',
fillcolor = 'rgba(255, 212, 96, 0.5)',line=list(color='rgba(255, 212, 96, 0.5)'),showlegend = FALSE)
for (i in 1:10){
fig <- add_lines(fig,x=vec, y=aval[[2*i]]$y, visible = aval[[2*i]]$visible,
type = 'scatter', mode = 'lines', line=list(color='blue'), showlegend = FALSE)
fig <- add_polygons(fig,x = c(a,vec2,b), y =c(0,dnorm(vec2,mean=params[[2*i]],sd=sigma0/sqrt(n)),0),visible = aval[[2*i]]$visible,fill='tozeroy',
fillcolor = 'rgba(168, 216, 234, 0.5)',line=list(color='rgba(168, 216, 234, 0.5)'),showlegend = FALSE)
step <- list(args = list('visible', rep(FALSE, 2*length(aval)+3)),
method = 'restyle',label=i)
step$args[[2]][2*i+2] = TRUE
step$args[[2]][2*i+3] = TRUE
step$args[[2]][1] = TRUE
step$args[[2]][2] = TRUE
step$args[[2]][3] = TRUE
steps[[i]] = step
}
length(steps)
# add slider control to plot
fig <- fig %>%
layout(sliders = list(list(active = 0,
currentvalue = list(prefix = "mu_1: "),
steps = steps)))
fig
13.1. Potencia¶
\(\beta(\mu)\) se denomina curva característica operacional (OC) y representa la probabilidad de error de tipo II
\(1 - \beta(\mu)\) se denomina función potencia o potencia estadística
Para el caso aqui desarrollado, y para un nivel de significancia fija \(\alpha\), la curva OC es simétrica en torno a \(\mu_0\) y depende de \(\mu\) a través de \(d= \frac{\mu_0 -\mu}{\frac{\sigma}{\sqrt{n}}}\).
el error de tipo II depende de el tamaño de la muestra \(n\), la varianza conocida \(\sigma^2\), el nivel de significancia \(\alpha\) y el tipo de test (de uno o dos lados) y la diferencia ente \(\mu\) y \(\mu_0\)
mu0=0
sigma0=6.0
alpha= 0.05
perc= qnorm(1-alpha/2)
perc
vec <- seq(mu0,20+mu0,by=0.05)
params <- seq(1,30,by=1)
aval <- list()
for (i in 1:length(params)){
x_d = sqrt(params[i])*(mu0-vec)/sigma0 + perc
x_i = sqrt(params[i])*(mu0-vec)/sigma0 - perc
aval[[i]] <-list(visible = FALSE,
y=pnorm(x_d)-pnorm(x_i))
}
steps <- list()
fig1 <- plot_ly(width=600,height=400) %>% layout(title = "\n \n Error de tipo II en función del tamaño de la muestra",
yaxis = list(title = 'Beta'), xaxis = list(title = 'mu_1'))
for (i in 1:length(params)){
fig1 <- add_lines(fig1, x=vec, y=aval[[i]]$y, visible = aval[[i]]$visible,
type = 'scatter', mode = 'lines', line=list(color='blue'), showlegend=FALSE)
step <- list(args = list('visible', rep(FALSE,length(aval))), method = 'restyle',label=params[i])
step$args[[2]][i] = TRUE
steps[[i]] = step
}
fig1 <- fig1 %>% layout(sliders = list(list(active=1,
currentvalue = list(prefix = "n: "),
steps=steps)))
fig1
13.1.1. ¿Cómo incrementar la potencia estadística?¶
aumentar el tamaño de la muestra
disminuir la varianza
aumentar la sgnificancia, manteniendo un equilibrio entre los errores de tipo I y II
usar un test de un lado
13.1.2. ¿En qué casos usar una test de un lado?¶
si sabemos que los valores no pueden ser mayores (o menores) que \(\mu_0\)
que interesa solamente el efecto en una dirección. Ejemplo, probar que un nuevo medicamento es mas efectivo que uno existente, dado que es mas barato.
14. Robustez¶
Los estadísticos de test requieren provenir de una muestra aleatoria normal o una distribución t.
Los test que dependen de \(Z\) son robustos respecto de la hipótesis de normalidad siempre que un tamaño de muestra suficientemente grande.
Los test que depende de \(t\) son robustos respecto de la hipótesis de normalidad, en el sentido que la normalidad no tiene gran influencia en las tasas de error de tipo I
Cuando la hipótesis de normalidad está muy lejos de cumplirse, se sugiere transformar los datos o usar test no-paramétricos como por ejemplo el test de Mann-Whitney.